ชีวิตงานอาชีพในตะวันออกใกล้ของเอลกินเต็มไปด้วยเหตุการณ์ร้ายหลายอย่างที่เกิดขึ้น ตั้งแต่ยังเยาว์วัยเอลกินก็ป่วยด้วยโรคที่บรรยายว่าเป็นโรคไขข้อที่แทบจะเชื่อแน่กันว่าเป็นซิฟิลิส[2]

เมื่อกลับมาถึงอังกฤษเอลกินผู้ไม่สามารถหว่านล้อมให้พิพิธภัณฑ์บริติชชดเชยค่าใช้จ่ายที่เสียไปกับการขนส่งแผ่นประติมากรรมก็ฟ้องชู้ของภรรยาเรียกร้องเงินเป็นจำนวนมาก จากนั้นในปี ค.ศ. 1807 และ ค.ศ. 1808 ก็ฟ้องหย่าภรรยาในข้อหาว่ามีชู้ในศาลอังกฤษและต่อมาศาลสกอตแลนด์ตามลำดับ และโดยพระราชบัญญัติของรัฐสภาซึ่งทำให้กลายเป็นเรื่องอื้อฉาว เมื่อวันที่ 21 กันยายน ค.ศ. 1810 เอลกินก็แต่งงานกับเอลิซาเบธ (ค.ศ. 1790–ค.ศ. 1860) บุตรีคนสุดท้องของเจมส์ ทาวน์เซนด์ ออสวอลด์ มีบุตรด้วยกันห้าคนที่รวมทั้งเจมส์ บรูซ เอิร์ลแห่งเอลกินที่ 8 ข้าหลวงใหญ่แห่งบริติชนอร์ธอเมริกา และอุปราชแห่งอินเดีย, เซอร์เฟรเดอริค ไรท์-บรูซ ทูต และ ทอมัส ชาร์ลส์ บรูซผู้แทนราษฎรของพอร์ทสมัธ และบุตรีอีกสามคน เอลกินย้ายไปอยู่บนแผ่นดินใหญ่ยุโรปเพราะเป็นหนี้เป็นสินท่วมตัว ส่วนลูกชายคนโตก็ใช้ชีวิตส่วนใหญ่ในต่างประเทศ และก็มีชื่อเสียงในด้านการสร้างความเสียหายแก่วัตถุอันมีค่าทางประวัติศาสตร์ เมื่อเป็นผู้ออกคำสั่งให้ทำลายพระราชวังฤดูร้อนเดิมที่ปักกิ่ง